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A atribuição de "notas" aos programas de pós-graduação brasileiros, realizada pela CAPES 
através de seu sistema de Comissões de Consultores Científicos, provocou quieta satisfação 
entre os programas melhor aquinhoados, e protestos frequentemente ruidosos entre os que 
receberam conceitos menos elevados. Estas avaliações servem de base para uma serie de 
decisões referentes a bolsas de estudo, apoio de infraestrutura e outras formas de ajuda 
distribuídas aos programas de pós-graduação Além disto, a publicação dos resulta dos através 
da imprensa tende a consolidar a boa imagem dos programas bem avaliados, e a dar uma 
imagem pública de má qualidade aos menos considerados. Não se trata, pois, de um exercício 
inofensivo. As "notas" têm consequências sérias, e por isto merecem ser analisadas com 
cuidado. Por que foi criado este sistema? Que objetivos pretende? E, mais ainda: como, de fato 
tem funcionado? 

A Teoria 

0 sistema de avaliação implantado pela CAPES tem o objetivo mais nobre possível: "registrar a 
evolução da pós-graduação brasileira e, através de um conjunto de critérios, avaliar a 
qualidade do desempenho dos cursos". "Isto facultaria a elaboração de mecanismos mais 
adequados de apoio institucional, contribuindo para o desenvolvimento das instituições e dos 
grupos vinculados à pós-graduação, assim como forneceria elementos para o planejamento de 
outras ações para o sistema" 3 



1 Trabalho apresentado na reunião com Coordenadores de Programas de pós-graduação, Friburgo, 20 a 
22 de outubro de 1982. Publicado pelo IUPERJ, Série Estudos, n 2 10, dezembro, 1982. 

2 Agradeço a Patrizia Suzzi pela ajuda no processamento dos dados, e a Amaury de Souza pela 
ajuda na interpretação. Os dados utilizados são provenientes da CAPES, e estão sendo 
utilizados para a elaboração da amostra de uma pesquisa comparativa internacional sobre a 
organização e desempenho de unidades de pesquisa, em andamento no IUPERJ, e que conta 
com o a poio da FINEP. A responsabilidade deste texto é exclusiva, no entanto, do autor. 

3 CAPES, Notas sobre a Avaliação da Pós-Graduação, Coordenadoria de Acompanhamento e Avaliação, 
agosto de 1982, mimeografado, p. 1. 
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A necessidade de desenvolver algum sistema de avaliação é óbvia para instituições 
encarregadas de distribuir recursos em escala tão ampla quanto a CAPES e outras agências 
governamentais de apoio à pesquisa e à pós-graduação. Na ausência de um sistema deste tipo, 
recursos tendem a ser distribuídos de acordo com a tradição (os que já recebiam antes 
continuam a receber depois), em função de influências políticas ou das relações pessoais que 
determinadas pessoas no sistema de ensino e pesquisa consigam estabelecer com os 
funcionários das agências financiadoras. 0 que o sistema da CAPES tem de novo é, em primeiro 
lugar, a forma pela qual sua avaliação está sendo feita; e, em segundo, sua abrangência. 
As primeiras tentativas de avaliar programas de pós-graduação, hoje abandonadas, tratavam 
de desenvolver sistemas de indicadores objetivos que pudessem ser quantificados e dos quais 
a posição dos programas e grupos pudesse ser inferida. A vantagem de um sistema deste tipo, 
se funcionasse, seria que ele estaria livre da subjetividade dos avaliadores. Seriam os fatos, e 
não a opinião das pessoas, que decidiriam. Indicadores mais ou menos clássicos foram 
desenvolvidos para este fim: publicações científicas, teses aprovadas, titulação de professores, 
numero de livros nas bibliotecas, etc. No entanto, ficou claro em pouco tempo que os 
resultados destas mensurações muitas vezes contradiziam frontalmente as opiniões 
consensuais dos conhecedores das diversas áreas cientificas e de pesquisa a respeito de quais 
eram efetivamente os bons e não tão bons programas. Além disto, a subjetividade só 
desaparecia na aparência: de fato, ela estava totalmente presente na seleção dos supostos 
indicadores de qualidade e nos pesos que lhes eram atribuídos. 

A constatação destes problemas levou à adoção do critério oposto, que é a utilização a mais 
ampla possível do sistema de avaliação por pares [peer review). A ideia básica aqui é que, na 
realidade, somente os especialistas em cada área de conhecimento podem avaliar 
adequadamente seus respectivos programas. Esta avaliação é necessariamente subjetiva, no 
sentido de que ela não se traduz facilmente em um conjunto de indicadores objetivos; mas ela 
deve ser, pelo menos, intersubjetiva, ou seja, compartida dentro da comunidade à qual ela se 
refere. 

Apesar da óbvia superioridade do sistema de a validação por pares em relação ao de 
indicadores objetivos, não deixam de haver alguns problemas também bastante sérios. 0 mais 
óbvio deles é o da seleção dos avaliadores. Na medida em que eles são selecionados 
arbitrariamente pela agencia avaliadora, eles podem representar interesses específicos de 
determinados grupos ou setores, é fazer suas avaliações em função disto. A alternativa seria 
fazê-los eleger pela própria comunidade a ser avaliada; mas, neste caso, eles representariam 
não o padrão de melhor qualidade, mas o padrão médio ou majoritário, e não teriam suficiente 
independência e autonomia para fazer suas avaliações. Mesmo atribuindo a melhor boa fé 
tanto aos avaliadores quanto aos que os selecionam, existem ainda problemas: em áreas 
contraditórias, como as de ciências sociais, eles podem participar de uma corrente 
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determinada, e não reconhecer o valor das outras. 0 sistema de avaliação por pares funciona 
melhor, evidentemente, em áreas do conhecimento cujos paradigmas estejam melhor 
consolidados, e cujos critérios de competência científica e académica, utilizados na seleção dos 
avaliadores, não estejam em disputa. 

A solução desenvolvida pela CAPES busca combinar estes dois componentes, objetivos e 
subjetivos. Por um lado, foi implantado um sistema bastante completo de informações sobre os 
programas de pós-graduação em todo o país, com dados sobre numero de professores, numero 
de pesquisadores, trabalhos científicos publicados, linhas de pesquisa, alunos com teses 
completadas, etc. Por outro, foram acionadas as Comissões de Consultores Científicos que, de 
posse dos dados colhidos anteriormente, fazem as avaliações e recomendações a respeito de 
cada curso. 

É importante notar que, apesar da existência de dados objetivos, as avaliações são feitas de 
forma subjetiva, ou seja, não existe nenhuma regra explícita que vincule um determinado 
conceito a determinadas informações sobre os cursos. Os avaliadores utilizam todas as 
informações de que dispõem, tanto as constantes dos levantamentos da CAPES como as que 
possuem independentemente, ou que resultem da troca informal de pontos de vista entre os 
membros das comissões. Além disto, a nota ou conceito é somente um dos resultados da 
avaliação Na realidade, segundo a CAPES, "o mais crucial são os pareceres analíticos referentes 
aos diversos aspectos do curso e a interpretação do conceito. Lamentavelmente, constata-se 
por parte dos usuários dos resultados da avaliação uma super-valorização do conceito em si (a 
letra) o que precisa ser repensado, visto que, isoladamente, ele não fornece aos cursos 
subsídios para a reflexão sobre o seu desempenho." 2 

A Prática 

Se não existem regras explícitas que vinculem os conceitos atribuídos aos cursos com algumas 
de suas características objetivas, e possível que existam regras implícitas, e que na prática 
estas regras possam variar conforme a área de conhecimento, a região geográfica, etc. É 
possível, além disto, que estas regras implícitas sejam inconscientes, ou seja, que os 
avaliadores se deixem levar por alguns critérios de avaliação que não surgiriam 
espontaneamente se perguntados. Para verificar isto, fizemos um exercício que consiste em 
avaliar, empiricamente, as relações existentes entre os dados objetivos para os quais a CAPES 
possui informações e as notas obtidas pelos cursos. São os dados principais deste exercício que 
mostramos a seguir. 

0 primeiro quadro apresenta as médias dos conceitos para nove tipos de cursos, divididos 
segundo três critérios, a localização geográfica, a natureza jurídica (pública ou privada) e o fato 
de serem programas isolados ou vinculados a universidades. Ciências exatas (física, química) 
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são distinguidas das profissões tecnológicas (engenharias de todo o tipo, principalmente); as 
profissões de saúde (medicina, farmácia) são separadas das ciências biológicas (biologia, 
genética, etc); e as ciências sociais (sociologia, economia, antropologia) são separadas das 
profissões sociais (direito, administração, serviço social). As notas analisadas são as 
correspondentes ao ano de 1981, e correspondem ao curso de nível mais alto oferecido por 
cada instituição. Existiam notas para 696 cursos. 

A primeira constatação é que, em geral, existe uma distribuição quase normal de notas dentro 
de cada área de conhecimento (foram atribuídos valores de 1 a 5 para as notas de A a E; quanto 
maior o valor, portanto, pior o conceito). Ha uma tendência para médias entre B e C (entre 2 e 
3), com algumas áreas se valorizando mais (profissões agrícolas, média quase B) e outras 
menos (educação, media C). 

As variações das notas por grandes categorias mostram algumas regularidades consistentes. 
Os programas da região centro-sul obtêm melhores avaliações, assim como os de instituições 
públicas. Pertencer ao setor público ou privado conduz a uma diferença maior do que a estar 
ou não no centro-sul. Quase não há diferenças entre os programas isolados e os em 
universidades. A mais importante discrepância se refere aos cursos de pós-graduação na área 
das profissões tecnológicas (engenharias), que têm melhor avaliação no setor privado do que 
no setor público. No todo, quase não há diferença entre programas isolados ou em 
universidades. No entanto, os programas isolados em biologia, profissões de saúde e profissões 
agrícolas tendem a ser melhores em estabelecimentos isolados do que em universidades. As 
piores avaliações são para os cursos na área de saúde do setor privado, e para os de profissões 
sociais também no setor privado e em estabelecimentos i solados; as melhores são para os 
programas de profissões agrícolas na área de Rio e São Paulo, e para os programas de 
tecnologia no setor privado, e para os de saúde em estabelecimentos isolados. 
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Quadro I - Notas Méd 


ias da CAPES 




Rio e São 
Paulo 


Resto 
do 
país 


Setor privado 


Setor 
público 


Programas 
isolados 


Programas 
universitários 


Total 


N** 


Educação 


2.85 


3.16 


3.00 


3.00 


* 


3.04 


3.00 


26 


Exatas 


2.45 


2.59 


2.87 


2.47 


3.11 


2.38 


2.51 


100 


Biológicas 


2.30 


3.03 


* 


2.59 


2.33 


2.70 


2.52 


70 


C. Sociais 


2.25 


2.70 


3.07 


2.24 


2.78 


2.41 


2.46 


104 


P. 

Tecnológic 
as 


2.62 


2.81 


1.40 


2.78 


3.30 


2,56 


2.69 


78 


P. Saúde 


2.88 


2.59 


3.85 


2.48 


1.97 


2.76 


2.55 


146 


P. Sociais 


2.88 


2.96 


3.42 


2.75 


3.50 


2.82 


2.91 


59 


P. Agrícola 


1.60 


2.26 


* 


2.02 


1.73 


2.10 


2.02 


71 


Letras 


2.75 


2.57 


4.12 


2.35 


* 


2.63 


2.69 


42 


Total 


2.47 


2.68 


3.20 


2.47 


2.50 


2.57 


2.55 


696 




415 


282 


77 


619 


123 


573 


696 




* indica a existência de somente um curso, ou nenhum; **0 número de casos (AN) varia ligeiramente por eventuais 
ausências de informação. 



Estes dados confirmam uma série de noções que existem comumente sobre os programas de 
pós-graduação no Brasil. Dois terços deles estão na região Rio - São Paulo, e eles são 
considerados consistentemente melhores do que os do resto do país. No entanto, as diferenças 
são menores do que poderíamos esperar. Os avaliadores da CAPES, pelo menos, têm melhor 
impressão dos programas fora do centro-sul do que frequentemente se pensa. A maior 
diferença é na área de ciências biológicas, com .73 a favor do centro-sul. Em Letras, os 
programas fora de Rio-São Paulo recebem melhor avaliação. 

Segundo, fica claro que a pós-graduação ocorre predominantemente no setor público, e que os 
programas do setor privado recebem sistematicamente pior avaliação As maiores diferenças 
são nas áreas de letras (diferença de 1.77) e profissões da saúde (1.37). A grande exceção é na 
área de engenharia, onde alguns centros privados conseguem padrões de qualidade. 
Terceiro, os dados comprovam a tendência de alguns dos bons programas de pós-graduação se 
localizarem em instituições isoladas, como que se protegendo das dificuldades próprias dos 
grandes sistemas universitários. Isto é particularmente verdadeiro para a área de saúde e 
ciências biológicas; nas demais, no entanto, ocorre o oposto. Existe, evidentemente, uma certa 
superposição entre programas isolados e programas privados, e um tipo de característica se 
contrapõe à outra. 

Uma vez estabelecidas estas diferenças mais gerais, coloca-se a pergunta mais séria: será que 
todos os avaliadores utilizaram os mesmos critérios? Que características dos programas de 
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pós-graduação pesaram mais na determinação das notas? Como estes critérios variaram de 
grupo para grupo de programas? 

Uma primeira aproximação a este problema pode ser obtida pela análise de regressão, cujos 
principais resultados estão indicados no Quadro 2. A análise de regressão permite avaliar a 
contribuição específica da variação de uma série de variáveis na variação dos valores de uma 
variável dependente determinada (coeficientes b); além disto, quando os valores são 
estandardizados, ela permite comparar a influência específica de cada variável independente 
(coeficientes beta); finalmente, ela permite avaliar em que medida a variação de cada variável 
independente se ajusta à variação da dependente (coeficientes de correlação parcial, r). A 
combinação de todos os coeficientes parciais dá uma medida da variação da variável 
dependente em função do conjunto das independentes (R). Em geral, o quanto da variável 
dependente é "explicado" pelas independentes é avaliado pelo quadrado do coeficiente de 
correlação múltiplo (R 2 ). 0 nível de significação dá a probabilidade de que a correlação 
encontrada seja aleatória. No Quadro 2 estão indicados os coeficientes de correlação múltipla, 
os coeficientes de correlação parciais e, por asteriscos, os níveis de significação, para diversos 
subconjuntos dos cursos avaliados. Os resultados mais gerais podem ser vistos na ultima linha, 
que inclui os 661 cursos para os quais existem todos os dados. A primeira observação é que, 
tomados em conjunto, as variáveis independentes que pudemos utilizar explicam somente 
cerca de 20% ((.45) 2 ) do total da variação das notas. Estas variáveis incluem o ano de criação 
do programa (antiguidade), número de professores, numero de pesquisadores, volume de 
produção científica (pela contagem de trabalhos publicados de todos os tipos, constantes dos 
relatórios da CAPES), localização geográfica e pertencimento ao setor público ou privado 
(outros tipos de informação, constantes dos relatórios, poderiam ter sido incluídos na análise, 
incluindo o número de teses publicadas e alguma medida de titulação dos professores). 
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Quadro 2 - Modelos de Reg 


ressão para Notas da CAPES [coeficientes de correlação) variáveis fr 


parciais) 




R 

Múltiplo 


Antiguida 
de 


Professor 
es 


Pesquis 
adores 


Produção 
Científica 


Região 

Rio/ 
SP/Res 
to 


Setor 
Público/ 
Privado 


Área tecnológica e 
biológica (N = 448) 


.45** 


.21** 


.04 


..07 


..12* 


..06 


.10 


Área de humanidades 
(N=213) 


.50** 


.26** 


..13 


..17* 


.16 


.22* 


.31** 


Área científica (N=247) 


4.9** 


.24** 


.09 


..10 


.17* 


.19* 


.17* 


Área profissional 
fN=389) 


.45** 


23** 


.02 


.12 


.15* 


.04 


.14* 


Educação (N=26) 


.75** 


.47 


.19 


.28 


.58* 


.12 


.05 


Ciências exatas (N=95) 


..58** 


.23 


.21 


.22 


.32** 


-.07 


.14 


Ciências biológicas 
(N=69) 


.60** 


..36* 


.02 


.03 


.09 


.16 


.16 


Ciências sociais (N=98) 


.62** 


.29* 


.20 


.18 


.24 


.37** 


.41** 


Profissões técnicas 
ÍN=75) 


.69** 


.26 


.06 


.00 


.42** 


..02 


.03 


Saúde [N=138) 


.34* 


.18 


.06 


.07 


.05 


..03 


.21* 


Profissões sociais 
fN=511 


.50 


..26 


.04 


.23 


.15 


..02 


.06 


Profissões agrícolas** 
fN=711 


.59** 


..25 




.35* 




.45** 




Letras fN=138) 




.09 


.00 


.10 


.02 


.02 


..60** 


Total fN=661) 


,45** 


.22** 


..00 


.10* 


..13** 


.11* 


.15** 


** significativo a.001 
* significativo .01 

*** os coeficientes para a área agrícola foram obtidos por uma regressão de tipo '"stepwise", que só selecionou as 
variáveis assinaladas. A comparação destes dados com os demais é somente aproximada. (Obs.: Os sinais dos coeficientes 
foram invertidos quando necessário para corrigir a inversão da escala de notas). 



O pouco poder explicativo destas variáveis se deve, em parte, a que existem outros fatores, que 
aqui não estão presentes, que influenciam as avaliações; e, em parte, ao fato de que os diversos 
fatores são considerados de forma distinta conforme os diferentes tipos de curso. 
Estes dados devem ser tomados evidentemente com cautela, já que as correlações, apesar de 
significativas, são baixas. Além disto, como o Quadro 3 indica, existe uma alta correlação entre 
o numero de professores e o de pesquisadores nos diversos programas, o que gera um 
problema de multicolinearidade. 

De qualquer forma, é importante observar que a variável que mais se correlaciona com a 
avaliação da CAPES é o ano de inauguração do curso, ou seja, sua antiguidade, e isto é válido 
tanto para o total quanto para a maioria dos subgrupos. A segunda em importância e á 
localização do curso no setor público ou privado; a terceira, sua produção científica; a quarta, 
sua localização regional; a quinta, seu numero de pesquisadores. 

O que estes coeficientes parecem sugerir é que, na medida em que existem alguns fatores 
gerais que afetam as avaliações da CAPES, eles se referem principalmente à institucionalização 
do programa, o prestígio que estabeleceu através do tempo, e só secundariamente a seu 
desempenho académico, medido pela produção científica. A analise dos diferentes subgrupos 
mostra, no entanto, algumas variações interessantes. 
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Quadro 3 - correlações Produto-Momento 




Notas - 
CAPES* 


Antigui 
dade 


n. de 

Professor 
es 


n. de 

Pesquisad 
ores 


Produção 
Científica 


Centro/ Sul 
ou Resto 
País 


Público / 
Privado 


Notas 
CAPES* 


1.00 














Antiguidad 
e 


.26 


1.00 












n. de 
Professore 
s 


-.29 


-.14 


1.00 










n. de 
Pesquisado 
res 


-.33 


-.14 


.84 


1.00 








Produção 
Cientifica 


-.32 


-.18 


..55 


.61 


1.00 






Centro/Sul 


.09 


..04 


.09 


.01 


-.09 


1.00 




Setor 
Público 


-.17 


.00 


.22 


..19 


..05 


..18 


1.00 


*A=1, E=5 * significativo .01 



Em primeiro lugar, existe uma clara diferença entre programas cujas avaliações são mais 
difusas e aqueles cujas notas dependem mais das variáveis de que dispomos. Assim, mais de 
50% da variação das notas dos programas de educação e letras são explicados pela regressão; 
nas profissões de saúde, no entanto, a explicação não chega a 12% (.34 z ). Em geral, pareceria 
que, nas áreas mais antigas e consolidadas, a informação específica e quantificada não é 
necessária, por que os avaliadores '"já sabem" quais são os bons e os maus programas; no 
entanto, estas informações são utilizadas mais intensamente em áreas menos estabelecidas. 
A avaliação da produção científica de um programa a partir de seu volume de publicações é 
uma medida extremamente grosseira e aproximada. Ela serve para diferenciar os que publicam 
muito dos que não publicam quase nada, mas não discrimina entre boas e más publicações; 
pior, ela privilegia um tipo determinado de produção científica, que é o artigo impresso, e deixa 
em segundo plano outros tipos de produto, mais próprios de setores mais voltados à atividade 
de desenvolvimento tecnológico, ou de capacitação profissional de alto nível. 
É natural que, na área de ciências exatas, esta seja a variável que mais se correlacione com as 
avaliações da CAPES, já que a cultura científica própria desta área privilegia, normalmente, a 
produção de artigos escritos. O baixo peso desta variável em relação às disciplinas de saúde e 
de ciências biológicas mostra que nestas áreas mais tradicionais o modelo das ciências exatas 
parece não ter penetrado com tanta força. Mais interessante, no entanto é o peso da produção 
científica para áreas de implantação mais recente, como as de educação e das profissões 
tecnológicas Pareceria que aqui, na falta de uma tradição própria, os critérios de avaliação 
inspirados nas ciências exatas são utilizados com muito mais ênfase. 

O simples tamanho dos programas, medido pelo numero de seus pesquisadores, não tem peso 
preponderante em nenhuma das áreas; no entanto, ele parece pesar mais em áreas onde a 
produção científica joga um papel menor (profissões agrícolas, área de humanidades como um 
todo). 
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A localização institucional parece ser o que mais pesa na avaliação dos programas de ciências 
sociais (ser do Setor público, estar na região Rio * São Paulo]. 0 caráter público é o único que 
diferencia os programas de letras considerados melhores dos considerados piores, enquanto 
que a localização geográfica tem um peso inesperadamente alto em relação às profissões 
agrícolas. 

A comparação entre os programas agrupados pelas áreas tecnológica e biológica (ciências 
físicas e naturais), por um lado, e ciências sociais e humanidades por outro, mostra que, 
enquanto as avaliações das primeiras respondem mais diretamente a diferenças de produção 
científica, as segundas dependem mais de características institucionais. Por outro lado, é 
curioso que quase não existam diferenças quando os programas são diferenciados entre os de 
conteúdo especificamente científico (física, biologia, sociologia, etc.) e os de orientação 
profissional (direito, engenharia, medicina, etc.) 

Conclusões provisórias: a teoria da prática 

Apesar de suas evidentes limitações, a análise anterior permite penetrar um pouco nesta "caixa 
preta" que é o sistema de avaliação por pares. Ela nos permite chegar a uma lista de 
proposições que são pelo menos sugeridas pelos dados: 

• os avaliadores não dão muita importância aos dados quantificados. No entanto, na 
medida em que o fazem, 

• existe um '"efeito de halo", ou de prestígio, que está associado à antiguidade dos 
programas e sua localização institucional; 

• o critério de produtividade científica, em termos de publicações académicas, funciona 
nas áreas científicas mais clássicas, e é adotado com rigor talvez exagerado em áreas 
novas sem tradição anterior. 

A primeira conclusão não é surpreendente. Na realidade, o sistema de avaliação por pares 
existe exatamente pela precariedade das quantificações. Os avaliadores suprem esta 
precariedade, mas, ao fazê-lo, podem incorrer em dois tipos de erro. 0 primeiro, que não temos 
como estimar aqui, consistiria em avaliações discrepantes entre os diversos avaliadores. Será 
que as avaliações não seriam distintas se fossem outros os avaliadores? Seria possível testar 
isto comparando ás notas dos diversos avaliadores, ou formando comissões de avaliação que 
funcionassem de forma paralela. 0 outro tipo de erro ou tendenciosidade seria deixar-se levar 
por critérios não muito claros ou discutíveis. 
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A segunda constatação poderia apontar nesta direção. Uma interpretação possível seria que os 
avaliadores tendem a ter uma atitude conservadora, deixando-se guiar, principalmente, por 
critérios consensuais e difusos de prestígio das instituições. Ao mesmo tempo, dada a extrema 
juventude de nossos programas de pós-graduação (a grande maioria foi criada depois de 1960) 
e a instabilidade existente em muitas áreas, não há dúvida que a institucionalização, a 
capacidade de funcionar de forma estável através do tempo já á uma indicação de qualidade. 
A terceira constatação, não obstante, parece ser a mais importante. "Pós-graduação" pode 
significar uma pluralidade de coisas, desde a formação de pesquisadores em física teórica até a 
de professores de matemática, engenheiros especializados e administradores de empresa. 
Cada uma destas áreas responde a uma tradição intelectual e profissional distinta, 
desenvolvida no país ou importada do exterior. Destas diferentes tradições de trabalho, a mais 
conhecida e estudada é a da ciência académica. Ela valoriza a pesquisa e a publicação, tende a 
possuir redes de intercâmbio de ideias e informações em escala internacional. As pessoas 
valem pelo que publicam, e por sua presença nestas redes. As tradições tecnológicas também 
existem, mas tendem a ser bastante diferentes de área para área, e não comparáveis entre si. E 
existem disciplinas novas, que na realidade não têm uma tradição de trabalho anterior, e que 
procuram se amoldar aos padrões mais conhecidos e prestigiados das ciências académicas. Os 
dados sugerem que o modelo académico é aplicado com tanto mais rigor quanto menor seja a 
tradição própria de cada área; e isto pode ter consequências problemáticas quando, por sua 
própria natureza, estas áreas devessem ser regidas por outros padrões. 

* * * 

Diante deste quadro, será que se justifica, afinal, todo este esforço de avaliação e atribuição de 
notas aos programas? E, ainda mais: será que se justifica sua divulgação? 
Acredito que, em última análise, sim. A atividade educacional e de pesquisa exige um 
componente inevitável de qualidade. Sê o objetivo não é simplesmente dar emprego a 
professores e títulos aos alunos, mas formar gente de bom nível e gerar conhecimentos 
significativos, é necessário poder distinguir o ruim do bom. A avaliação não pode ser 
entendida como uma atribuição de notas por juízes imparciais e independentes, mas 
como parte do processo pelo qual a própria comunidade vai explicitando seus critérios 
e definindo seus padrões de qualidade. Para que este seja realmente um processo, três 
condições são necessárias. Primeiro, que os resultados destas (e de outras) avaliações 
sejam difundidos e discutidos. Segundo, que o resultado destas discussões, e de 
análises como a que esboçamos neste texto, sejam de uma forma ou de outra levados 
em consideração em avaliações futuras, de tal forma que o que era inconsciente se 
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explicite, e o que era duvidoso se discuta e se reveja. A terceira é que exista, cada vez 
mais, uma interação entre dados e avaliações subjetivas, para que os primeiros sejam 
obtidos de forma cada vez mais adequada aos propósitos das avaliações, e que estas se 
afastem, tanto quanto possível, das imagens difusas e frequentemente rigidificadas 
com que operam, e tomem o máximo de realidade em consideração. 
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